—— 青亭网
其他
HoloLens联合发明者：眼球追踪开启AR/VR隐私时代
Esther｜ 撰文
随着越来越多的AR/VR头显开始加入眼球追踪功能，这项技术逐渐被看做是下一代头显的标配。眼球追踪有多种应用和优势，比如用于人机交互，或者提高渲染效率，生物识别，调节头显IPD瞳距，甚至可以评估生命体征和心理活动。
但就像指纹信息一样，眼球信息如果利用不当可能会对用户的隐私带来很大威胁。从短期来看，如果将眼球追踪与AR/VR头显结合，企业便能收集用户对不同信息和内容产生的私密且无意识的反应。往好的方面想，企业得到这些信息是为了给用户提供更好的体验，但对于广告来讲，这些信息是非常有价值的。
如果人的眼球信息为广告商所用，他们便能学习、预测甚至操纵人的行为。那怎么才能在尽量不侵犯用户隐私的情况下，找到眼球追踪的最佳应用呢？
Avi Bar-Zeev
对于这个问题，今年2月从苹果离职的Avi Bar-Zeev（也是HoloLens联合发明者）在《Vice》杂志发表了一篇文章，并表达了自己的看法。他谈到：我们现在就应该开始树立安全意识，因为在未来企业们将不得不认可，眼球数据与医疗档案或者其他生物识别数据同等重要，必须受到保护。
以下内容为Bar-Zeev原创，青亭网整理。
关于眼球追踪原理
人眼接收光线原理
在深入问题之前，先来看看人眼的工作原理。人类眼球的功能相当于光学元件，主要的作用是接收并感知光线，而眼球后面的视网膜会将光线数据转化成大脑能够识别的信号。每个视网膜中心都有一个小窝（foveae），里面密集的排布着细胞，是人眼能提供最高分辨率视觉的区域，仅占人眼中央5°的FOV。而小窝之外的其他区域被称作做周边视野，也就是余光，大约有220°FOV（双目）。
周边视野擅长识别动作、视觉规律，比如地平线、阴影，甚至还能看到来自其他人的目光，但是对于颜色或细节的识别能力极弱。
打个比方，当你在读本文的时候，你以为每一个字看起来都很清晰，实际上你每次只能清楚看到一两个词。
这是因为大脑欺骗了你，为了让你觉得眼前的画面到处都无比清晰，眼球会四处扫视，就像是在黑夜探路的手电筒一样，一点一点识别周围的环境。总之，人眼周边视野中的细节大部分是靠人脑的记忆，或者是想象出来的。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=g08779sby6p
眼神追踪用于优化渲染效率
依靠眼球快速扫视（saccades）的规律，计算机也能模拟大脑猜测你当下的想法，或者注视的方向，以此来优化屏幕渲染效率，重点提高注视点分辨率，降低周边视野分辨率。
除了快速扫视，计算机也可以模拟人眼的“平稳追踪”功能，简单来讲，就是在追踪移动的汽车或者棒球的时候，人眼会常常进行校正和调整，在你不注意的时候保持视线平稳。
通过训练，计算机能够以多种方式追踪人眼运动，最常见的方法就是用一个或以上的微型摄像头近距离追踪眼球，然后将收集到的信息交给计算机视觉软件进行实时处理，最后能计算出瞳孔位置和注视点。
有的方案还会在微型摄像头旁加入小型LED灯，利用红外光反射原理来测量瞳孔位置。或者，也可以采用测量眼肌电信号的方式来追踪眼球，原理是测量眼球表面到传感器的距离。
眼球追踪效果越好的系统，越能识别微小的动作，比如眼球转动0.5°前后的差距。当然，仅捕捉1-2°之间变化的也能推断出用户意图或者健康状况。总之，出于对眼球追踪系统的体积、重量和功耗考量，有些时候可能要牺牲一下追踪的准确性，原因是为了更小巧外形和更长续航，以此来满足C端需求。
为的是欺骗人眼
有趣的是，你的双眼不仅会被大脑欺骗，也会被别人操控。比如，魔术师、扒手可通过转移你的注意力，悄无声息地拿走你身上的东西，这又是怎么回事呢？原来，人眼在快速扫视的时候会继续捕捉新的细节，也就是说周围环境出现任何改变都有可能吸引我们的目光。
吸引注意力对于叙事来讲至关重要，尽管电影导演没办法手动改变观众的关注点，但他们可以通过视觉线索去尽量引导。
设计网页和app的视觉和UI设计也是如此，通过各种不同方式吸引我们的眼球，让我们最先看到页面中的重点，然后凭直觉找到该进行的下一步。
对于魔术师来讲，即使不想办法吸引观众注意力，他们也会自然地跟随他的眼神，这也被称为共享式注意力。在获得了观众注意力后，魔术师就有了偷换身边物品或场景的机会。听起来有点夸张，不过可以举个例子来解释：人眼从A点向B端快速扫视的过程中看到的画面实际是模糊的，但你很难注意到A点到B点经过的改变，这也是因为大脑欺骗了你。
再举个有趣的例子，鸡的眼球没办法转动，因此周围环境改变的时候，为避免视觉产生模糊，它们才需要不断前后晃动脑袋。
总之，你在眨眼或快速扫视的时候，都给了别人欺骗你的机会。而眼球的这种特性如果为VR所用，便可高效地提高沉浸感。比如，在室内戴VR头显移动的时候很可能走走就会碰到墙壁，这时候头显的边界系统会提示你停下，然后游戏画面将会改变方向，让你以为自己在“继续直行”，其实你可能只是在房间里的安全区域兜圈子。
为了不让你发现，VR还会使用一些视觉干扰机制来蒙蔽你，这时候眼球追踪技术就派上用场了。
眼球追踪的最佳应用
关于眼球追踪的用途，前面已经提到它可以与注视点渲染结合，提高显示效率，并降低功耗、成本和AR/VR硬件重量，它最理想的效果就是能够模拟视网膜成像，精准定位你的注视点并达到自然的渲染渐变。
此外，眼球追踪也可以用于眼球输入，与用鼠标浏览菜单相比，眼球输入更加自然，将大大优化VR/AR头显的UI。想象一下，在未来可能你只需要看一眼台灯，就会弹出打开或关闭的选项，像读心术一样神奇。
在AR头显中，眼球追踪还能被用来调节画面焦距，比如微软就曾申请过一项专利，专利中描述了一种根据用户注视点在近处和远处之间调节焦距的光学技术，可用于头显。Magic Leap的“光场”技术也号称拥有同样的功能，尽管实际上仅支持几个焦点平面，如果要增加焦点则需要叠加更多光波导。总之，最理想的效果就是眼镜能够根据眼球注视的每一点调节焦距。
在更遥远的未来，眼球追踪不仅能调节焦距，可能还会将你注视的画面放大，微软在2010年就已经申请了相关专利。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=m08771x5nat
眼球追踪用于医疗
当然也有更偏向科学研究的应用，比如通过眼球追踪来诊断小孩子自闭症，原理是自闭症孩子的眼动规律与普通孩子有所差异，比如会更频繁转动眼睛扫视周围环境，难以将实现固定在人脸上。同时，眼球追踪技术也能帮助自闭症孩子纠正一些感知差异，从而缓解病症。
另外，通过测量眼跳运动和瞳孔反应，还能诊断精神分裂症、帕金森症、多动症、脑震荡等病症。
从变现能力来看，将眼球追踪技术应用在科研和市场调研是目前比较实际的应用场景。通常，调查者会让测试对象戴眼球追踪设备进入超市等地点，通过记录他们眼睛在货架上扫视的动作信息，来分析是什么商品，以怎样的方式，在什么样的时间吸引了他们的注意力。如果将上述场景换成VR，那么获取信息的速度会更快，也更方便场景自定义。
眼神不会骗人
通过对人眼的追踪，越来越多的科学研究发现，瞳孔放大的程度也能显示出人对眼前人、事物的情感或兴趣程度。因为，与相机光圈原理相似，人眼瞳孔的主要作用是调节视网膜接收的光线强度，光线强瞳孔就变小，光线弱瞳孔就变大，这是一种自主反应，很难去有意识地控制。因此，瞳孔的大小和变化速度足以透露一个人的内心情绪和认知状态。
EEG（脑电图描记器）、测量皮电反应、脉搏和血压的传感器也能测出人的情绪，但它们没办法识别是什么外部因素刺激了情绪变化。而结合眼球追踪，便能做到这一点，大大提高情绪感知的准确性。
关于信息安全
眼球追踪固然很强大，但想象一下，当未来人手一台VR/AR头显的时候，你的每个眼神可能都会被头显记录，如何保障信息安全呢？也许，在收集这些信息之前，可以征求用户许可。理论上讲合情合理，可大多数人会觉得服务条款太长了，不看就会选择同意，所以通常在不知情的情况下就释放了隐私权限。
Oculus Quest
比如，从Oculus的服务声明中就可以看到，它们已经在手机用户的身体运动数据，这些数据将帮助他们研究并优化用户体验。这些人体数据到了企业手中，必然存在使用不当的可能。因此，搜集了哪些数据，数据存储在哪里，是否受到保护，如何使用这些问题的答案如果能公开，才有助于提高用户对企业的信任。
为什么人体信息这么重要呢？因为包括虹膜和视网膜血管分布在内的生物识别数据是每个人独有的，对于机器学习算法来讲，是你唯一的识别符。举个例子，现在不管是在火车站、宾馆还是政府办公机关，很多地方都开始用刷脸加身份证双重验证，因为安全性和准确性都更高。
也就是说，当你的名字、信用卡、身份证等实名信息，以及你的生物识别信息被某企业获取，那就相当于你将隐私交由他人手中，想永远在网上保持匿名恐怕不太可能了，因为通过这家企业，想查你并不难。（以前是查IP，现在有办法伪造IP，但生物信息造假就太难了）
HoloLens 2
与Oculus相同，微软HoloLens 2头显也会收集用户的生物识别信息，它会通过识别瞳孔来对你进行认证，有点像电影里演的那样。为了验证，生物识别系统会调出你的”数字签名“，而不是用原始图像来识别你，如果你的眼球与签名符合，那么就会通过认证。每个人的瞳孔信息都不一样，安全性比密码更高。
https://v.qq.com/txp/iframe/player.html?width=500&height=375&auto=0&vid=q0877rjbvrl
HoloLens 2瞳孔识别功能
那么微软是怎么保护HoloLens 2中收集的瞳孔信息呢？据悉，HoloLens 2会将你的信息存储在设备中，具体来讲就是设备强制加密的保险库中。因此，想盗取你信息的人必须先偷走你的头显，然后进行破解，和直接侵入系统盗取大量信息相比，这一过程费时又费力。
当然，将生物数据复制并存储在云端自然很方便（可用作备份，或者跨设备登陆），但这样信息就很容易被盗取，你被别人模仿的几率也更高。
总之，生物识别信息丢失是很麻烦的，密码如果丢了可以重置，但你很难给自己换个眼球。因此，收集用户生物识别信息的企业必须采取最严格的安全措施。
关于开发者与信息安全
企业保护信息安全是一方面，但其实开发者们也会接触到用户的这些数据。微软和Magic Leap均支持第三方开发者开发基于眼球追踪的应用，眼球追踪可以帮他们找到新的交互方式，但同时也带来了严重的隐私问题。
对于这个问题，微软拒绝发表评论，Magic Leap也并未作回应。而Oculus发言人表示：目前发售的Oculus产品均未采用眼球追踪技术，不过在未来可能会加入。
先不管开发者们是否会盗取或者出售你的生物识别信息，首先，对他们来说这些信息本身就足够有价值，因为眼球追踪能透露出用户看任何事物的方式，不管是不经意略过，还是边看边沉思，或者凝视、很快转移目光，还能识别用户的情绪，比如：感兴趣、激动、尴尬或者无聊等。此外，通过测量用户对不同人的注意力，还能分析性取向。
不仅如此，通过眼球追踪还能推断你对朋友或者同事的情感，比如感兴趣、被吸引、失望甚至嫉妒，或者也可以分析吸引你的外貌特征、你的自信程度、甚至你的感情状态。
大多数时候，你的”喜欢“会直接从眼神流露出来。而眼球追踪收集到的元数据也是如此，它其实会透露你的行为模式或者心理活动，透露你的个性并用于预测你的行为（甚至可用于模仿你的行为）。
如果用在营销上，人眼透露的这些信息便能让企业了解你对某种汽车、书籍、饮料、食物、网页、或者海报的看法，他们会猜测你的喜好、或者对什么不感兴趣。进而，企业便能为你量身设计广告，吸引你下单。试想一下，有时候某个广告过于洗脑，即使里面卖的东西你不感兴趣，你也会忍不住记得它。好的广告能够为企业带来强大的变现能力。
你可能会说了，现在用大数据推算的方式已经足够好了，加上眼球追踪技术会更好吗？是的。现在你搜索的关键词可能会被淘宝、京东等电商用作推荐产品的依据，但有时候你只是搜一下并不想买，或者已经买过了，为了避免这种现象，商家可以使用眼球识别技术来实时追踪消费者的注意力，在最合适的时机达到最有力的宣传效果，甚至还能促使消费者做决定，掏腰包买东西。
或者被用来做实验？
为进一步了解甚至“操控”用户，企业可能会利用视觉线索对用户做实验，比如通过提供不同信息，测试并影响用户的反应。其实，现在的广告已经足以影响或者误导群众，但要是有眼球追踪信息加持，那广告的效果还将大幅提高，甚至可能消费者都不知道自己是怎么被影响的。
这些用来测试用户反馈的内容可能出现在任何地方，可能是背景中的道具，也可能是你关注的对象，在AR/VR中，则可能是出现在你眼前的内容，而用户对这些测试内容的无意识情绪反馈很可能会被企业记录下来。
除了记录人眼反馈，眼球追踪技术还能帮助快速切换灌输给人眼的信息，作用就有点像是用于网页优化的A/B测试法（将两种页面随机推送给浏览用户，然后分别统计用户转化率），只不过在AR/VR中可通过算法来实时、快速替换屏幕显示的内容，在用户眨眼或者快速扫视时进行替换，就很难被发觉。这样一来，便可在短时间内大量多次地测试人眼反馈，与传统实验方法相比，信息量能提高一个数量级，你的每个细微动作都尽在掌握。
听起来的确有点可怕，但商家如果能通过这种方式为你推荐你会喜欢或使用的产品，其实也可以达到双赢效果。
眼球追踪是把双刃剑
当然，眼球追踪在B端的应用不会仅限于吸引用户或者促进销量，也可能被用于影响群众的政治观念等等。这种生物识别信息还可能被用来对付你，拿健康数据举例，如果未来保险公司有办法了解用户的遗传易感性，就很可能会对容易生病的人拒绝承保或者收取更多费用。
总之，可以想象信息在未来何等重要，如果丢失了信息，那你的自由可能都会交由别人做主。
好在，AR/VR市场目前还趋于小众，在未来每个人都用上AR/VR头显的时候，那信息安全问题也就更不容忽视了。那么，在主流市场接受AR/VR之前，信息安全能否得到解决呢？
三种可能的方案
方案A：自发遵循行为规范
以下列举了一些可行的行为规范，并呼吁开发空间技术解决方案的企业采纳：
1，眼球追踪数据和衍生的元数据被视作健康和生物数据，必须得到好好保护；
2，原始的眼球数据和相关的摄像头图像数据不该被存储或传输，尤其是虹膜这种高度敏感的数据，应该存在用户自己设备中的安全加密库中，并且由特殊硬件来保护，不论成本多高；
3，一旦获取生物识别相关数据，必须以加密的方式存储在设备中，只有在本人知情且统一的情况下才能进行传输；必须设立一个明确的信息监管流程，包括：申请许可、加密、认证、授权和记录（AAA）；此外，若要将这些数据与其他数据结合，则需向用户申请额外许可且确保信息的高度安全；
4，应用能接收的数据仅限于注视点数据，同时也要遵循高度安全规范；
5，若采用行为模型，则需要确保它存在的唯一目的只是为了用户的利益，而且这些模型数据必须不能为任何第三方所用；
6，在最终用户许可协议、服务条款和弹出协议基础上，企业必须有效确保用户/消费者完全了解个人数据被使用的目的、时间和方式等信息，并且给予他们随时消除所有数据和撤销权限的选择；
7，如果不能做到真正安全和匿名，就不要夸大宣传，一来，有些时候并不能做到完全匿名，二来，仅承诺匿名并不能避免“对敲”（财经术语：经纪人利用顾客资金却不执行顾客命令，而为是为自己从中获利的行为）等背后利用用户的行为。
8，用户应该有权利了解为什么会得到某样内容的推送，相关的“暗箱操作”和背后原因应该更加透明。
上述规范为未来企业处理用户数据提供了底线和原则，如果企业能从现在就开始重视信息安全隐私的问题，不仅会在未来给他们省一大笔钱（避免隐私问题引起的官司），还能提高竞争力，拉开与其他公司的差距。
方案B：政府着手管理
如果企业没能自愿遵守上述规范，并严重侵犯隐私，那么政府监管则是必不可少的。现有的政府监控法规包括：美国个人可识别健康信息隐私标准（HIPPA）、欧盟通用数据保护条例（GDPR），但这还不够。
作为制定法规的参考，我们可以将生物识别等个人信息和可预测的行为模型视作人的“数字化身”，也应该具有和人同等的部分权利，因此这些数字化身绝不应该被任何第三方持有或交易，只能作为用户在数字世界的化身存在。
当然，政府监管并不是万能药，它的缺点是常常会限制科技创新，也限制了用数据为人类造福的人。
方案C：自己的数据自己管
目前这只是个构想，假设在未来有一款叫做“个人保护者”的全新服务，它也会收集用户的个人数据，建设行为、性格模型，但是会作为你的数字化身，伴你左右，而且只会做对你有益的事情。
可以将这种数字化身看做是我们的外置“个人卫士”或者“早期预警系统”，如果有任何企业想要利用我们的数据来营销，那这个“个人卫士”会帮助我们识别、推算我们的意愿，并作出决定。此外，它还能帮我们过滤信息，避免我们被营销手段迷惑，还将企业的广告进行分类，为我们提炼出这些企业的产品能带来的好处。
这么做的风险是，提供这种服务的企业最开始可能会获得大众信任，但如果随后被收购或者创始人、董事会成员更换，造成企业准则变更，也会带来不小的风险。
尽管方案C听起来距离我们还比较遥远，但以现在的技术来讲也不是完全不可能，因此在AR/VR这种搭载眼球和生物识别技术的设备普及之前，从现在开始着手信息安全有何不可呢？
（END）
推荐阅读
—— 青亭网